5 septembre 2018
Fanelli :
2010 : 90% des études sont des résultats positifs.
2011 : augmentation de 22% de la publication des résultats positifs.
2009 : quelle est la proportion de chercheurs ayant des pratiques douteuses ?
Fanelli :
| Fabrication/modification | Autres pratiques | |
|---|---|---|
| J'ai pratiqué | 1,97% | 14,12% |
| Je connais quelqu'un | 33,7% | 72% |
Le test d'excès de significativité dans Psychological Science entre 2009 et 2012 obtenu par la formule :
\[ puissance^n \] où n est le nombre d'expérimentations
\[ PPV = \frac{R (1- \beta)}{R+1-(1-\alpha)-R\beta} \]
Où R représente le ratio entre les études qui font l'hypothèse que le lien existe et celles qui font l'hypothèse contraire.
Un exemple concret
Si la puissance = 0,80, \(\alpha\) = 0,05 et que le ratio R = 1.
PPV = 1 * (1-0.2)/(1+1-(1-0.05)-1*0.20)
cat('PPV =', round(PPV,3))
## PPV = 0.941
| Test stat/Réalité | Lien | Pas de lien |
|---|---|---|
| Significatif | 80 | 5 |
| Non significatif | 20 | 95 |
PPV = (80)/(80+5)
cat('PPV =', round(PPV,3))
## PPV = 0.941
| Taille d'effet | Puissance |
|---|---|
| Petite | 0.12 |
| Moyenne | 0.44 |
| Grande | 0.73 |
| Test stat/Réalité | Lien | Pas de lien |
|---|---|---|
| Significatif | 44 | 5 |
| Non significatif | 56 | 95 |
cat('PPV =', round((44)/(44+5), 3))
## PPV = 0.898
R = 1/13
| Test stat/Réalité | Lien | Pas de lien |
|---|---|---|
| Significatif | 44 | 5*13 |
| Non significatif | 56 | 95*13 |
PPV = (44)/(44+5*13)
cat('PPV =', round(PPV,3))
## PPV = 0.404
S'assurer d'une puissance suffisante (Gervais et al., 2015)
La puissance devient acceptable à partir de 0.8 (Cohen, 1988)
Une puissance de 0.95 est plus désirable (Lakens, 2013)
Changer le seuil de significativité (Benjamen et al., 2018; Johnson, 2013)
Application à une corrélation estimée de 0.30.
Explique environ 10% de la variance.
A une valeur supérieure à 66% des corrélations publiées (Hemphill, 2003).
Application à une corrélation estimée de 0.30.
Supposons un amphi pour lequel on se demande si la parité est respectée. Dans cet amphi, il y a 200 personnes, dont 160 femmes. La probabilité que la parité soit respectée s'obtient par une binomiale
\[ \begin{pmatrix} 200 \\160 \end{pmatrix} 0,5 ^{160} (1-0,5)^{40}\ \]
et vaut
## [1] 1.275816e-18
La probabilité que la parité ne soit pas respectée (le ratio h/f est n'importe quelle autre valeur que 0,5) s'obtient par :
\[\int_{0}^{1} \begin{pmatrix} 200 \\160 \end{pmatrix} p ^{160} (1-p)^{40}\, \mathrm{d}p \] et vaut :
## [1] 0.004975124
Le facteur bayesien est le rapport entre ces deux probabilités.
## 1.275816e-18 / 0.004975124 = 3.899561e+15
et s'interprète de la manière suivante :
Il faut spécifier a priori les moyennes ainsi que la probabilité qui y est associée.
Une alternative est de fixer le prior sur la taille de l'effet.
Il s'agit de r-scale. La valeur par défaut pour le test t est 0.707.
Le r-scale correspond à la taille d'effet en valeur absolue que le chercheur estime pouvoir observer dans plus de 50% des situations.
Il est raisonnable de fixer le r-scale à la valeur du d de Cohen désiré.
Cette présentation est disponible ici :